科学机器学习的最新作品已经恢复了将神经网络应用于部分微分方程(PDE)的兴趣。一种流行的方法是将理事PDE的残留形式及其边界条件汇总为训练神经网络的复合目标/损失函数的软惩罚,该损失函数通常称为物理信息信息信息信息,这是实体神经网络(PINN)。在本研究中,我们可视化学习参数的损失景观和分布,并解释目标功能的这种特殊表述可能会阻碍甚至在处理挑战性目标解决方案时阻碍收敛的方式。我们构建了一个纯粹的数据驱动损失函数,该损失函数既由边界损耗和域损耗组成。使用此数据驱动的损耗函数,并单独使用物理信息损失函数,然后我们使用相同的体系结构训练两个神经网络模型。我们表明,边界和域损失项之间无与伦比的尺度是绩效差的罪魁祸首。此外,我们评估了两种椭圆形问题的性能,具有日益复杂的目标解决方案。基于我们对它们的损失景观和学识渊博的参数分布的分析,我们观察到具有复合目标功能配方的物理知识神经网络会产生高度非convex损失表面,这些损失表面难以优化,并且更容易发生消失梯度的问题。 。
translated by 谷歌翻译
已经提出了物理信息神经网络(PINN)来学习偏微分方程(PDE)的解决方案。在PINN中,感兴趣的PDE及其边界条件的残余形式被归为复合目标函数,作为软惩罚。在这里,我们表明,将目标函数制定的这种特定方式是应用于不同种类PDE的PINN方法中严重限制的来源。为了解决这些局限性,我们提出了一个基于约束优化问题公式的多功能框架,在该框架中,我们使用增强的拉格朗日方法(ALM)来限制PDE的解决方案,并具有其边界条件和任何可能可用的高保真数据。我们的方法擅长于具有多保真数据融合的转发和反问题。我们通过将其应用于涉及多维PDE的几个远期和反向问题来证明物理和相等性约束深度学习框架的功效和多功能性。您的框架与最先进的框架相比,与最先进的框架提高了幅度的提高顺序。 ART物理信息的神经网络。
translated by 谷歌翻译
The goal of this work is to localize sound sources in visual scenes with a self-supervised approach. Contrastive learning in the context of sound source localization leverages the natural correspondence between audio and visual signals where the audio-visual pairs from the same source are assumed as positive, while randomly selected pairs are negatives. However, this approach brings in noisy correspondences; for example, positive audio and visual pair signals that may be unrelated to each other, or negative pairs that may contain semantically similar samples to the positive one. Our key contribution in this work is to show that using a less strict decision boundary in contrastive learning can alleviate the effect of noisy correspondences in sound source localization. We propose a simple yet effective approach by slightly modifying the contrastive loss with a negative margin. Extensive experimental results show that our approach gives on-par or better performance than the state-of-the-art methods. Furthermore, we demonstrate that the introduction of a negative margin to existing methods results in a consistent improvement in performance.
translated by 谷歌翻译